Dilahirkan pada 22 Januari 1936, Ong merupakan anak kedua dari lima adik beradik dan berasal daripada keluarga kelas pertengahan. Bapanya yang menerima pendidikan dalam aliran bahasa Inggeris percaya bahawa pengetahuan dalam bahasa Cina penting untuk seseorang itu berjaya dalam dunia perniagaan dan oleh itu telah menyekolahkan anak-anaknya di sekolah aliran Cina. Ong lulus dengan kepujian dari sekolah The Chinese High School (kini sebahagian daripada Institusi Hwa Chong) pada tahun 1955.

Pada tahun 1956, Ong telah melanjutkan pelajarannya dalam jurusan seni bina di Universiti Adelaide dengan bakal isterinya Ling Siew May.[2] Ong dan Ling pertama kali bertemu di sebuah pesta Krismas apabila mereka masih menuntut di sekolah menengah.[3]